(lexical) token

См. также в других словарях:

• Lexical analysis — In computer science, lexical analysis is the process of converting a sequence of characters into a sequence of tokens. Programs performing lexical analysis are called lexical analyzers or lexers. A lexer is often organized as separate scanner and …   Wikipedia

• Token — may refer to:* Token (railway signalling), a physical object given to a locomotive driver to authorize him to use a particular stretch of single railway track * Token coin, a piece of metal or other composition used as a substitute for currency;… …   Wikipedia

• Lexical density — In computational linguistics, lexical density constitutes the estimated measure of content per functional (grammatical) and lexical units (lexemes) in total. Specifically, this is a coefficient of the word type to token ratio of a text. The main… …   Wikipedia

• Lexical grammar — In computer science, a lexical grammar can be thought of as the syntax of tokens. That is, the rules governing how a character sequence is divided up into subsequences of characters, each of which represents an individual token.For instance, the… …   Wikipedia

• token — Synonyms and related words: account, adumbration, affect, agent, allegory, alternate, alternative, analogy, annals, aroma, attribute, augur, augury, auspice, backup, badge, baggage check, basis for belief, betoken, betokening, betokenment,… …   Moby Thesaurus

• Token (analyse lexicale) — Lexème Le lexème (aussi appelé unité lexicale par le Conseil supérieur de la langue française et de nombreux grammairiens et lexicographes) est le morphème lexical d’un lemme, c est à dire une unité de sens et de son qui n est pas fonctionnelle… …   Wikipédia en Français

• Type-Token-Relation — Die Type Token Relation (auch: Type token ratio, TTR, Diversifikationsquotient) ist in der quantitativen Linguistik ebenso wie in der quantitativen Stilistik ein wichtiges Mittel, um für Texte sagen zu können, ob sie in Anbetracht der Textlänge… …   Deutsch Wikipedia

• Analyseur lexical — Analyse lexicale L analyse lexicale est la transformation d’un flot de caractères en un flot de lexèmes ou jetons (de l anglais token). Généralement, les lexèmes ont eux mêmes une structure. Ils forment un sous langage. Les techniques utilisées… …   Wikipédia en Français

• лексема — Языковая конструкция, по соглашению представляющая элементарную синтаксическую единицу. [ГОСТ 28397 89] Тематики языки программирования EN (lexical) tokenlexical unit …   Справочник технического переводчика

• Лексема — 2. Лексема (Lexical) token Lexical unit Языковая конструкция, по соглашению представляющая элементарную синтаксическую единицу Источник: ГОСТ 28397 89: Языки программирования. Термины и определения оригинал документа …   Словарь-справочник терминов нормативно-технической документации

• ГОСТ 28397-89: Языки программирования. Термины и определения — Терминология ГОСТ 28397 89: Языки программирования. Термины и определения оригинал документа: 38. Автоматическое распределение памяти Automatic storage allocation Выделение памяти при входе в программный блок для локальных переменных и ее… …   Словарь-справочник терминов нормативно-технической документации